[XEND] Re-add vtpm device support in XendConfig

This patch re-adds a recently removed vTPM device handling code.
I am also removing that one code part in the test script that does not
work.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Merge

[XENAPI] Add extra param for VM.start and fix case for printing out
the output of VM.get_record.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Proper importing of Xen API VM Struct into new XendConfig

Use a smarter method of importing the Xen API VM struct when adding to
XendConfig.

Also add a commented __setitem__ override for XendConfig to type check
certain configuration values.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEN] Allow shutdown code to be set at most once per domain.
SIgned-off-by: Keir Fraser <keir@xensource.com>

[XEND] Fix case mismatch in VM.get_record for Xen API

Also make VM.get_all return halted domains too.

Signed-off-by: Alastair Tse <atse@xensource.com>

Fix a number of flaws in the blktap userspace daemon when dealing
with I/O errors.

There are a number of flaws in the blktap userspace daemon when dealing
with I/O errors.

 - The backends which use AIO check the io_events.res member to determine
  if an I/O error occurred. Which is good. But when calling the callback
  to signal completion of the I/O, they pass the io_events.res2 member

  Now this seems fine at first glance[1]

    "res is the usual result of an I/O operation: the number of bytes
     transfered, or a negative error code. res2 is a second status
     value which will be returned to the user"

  Except that

     "currently (2.6.0-test9), callers of aio_complete() within the
      kernel always set res2 to zero."

  And this hasn't changed anytime since 2.6.0, so by passing through
  the status from 'res2', the callback thinks the I/O operation succeeded
  even when it failed :-(

  The fix is simple instead of passing 'res2', just pass

     ep->res == io->u.c.nbytes ? 0 : 1

  This would solve the error reporting to the guest, except that there
  is a second flaw...

 - The tapdisk I/O completion callback checks the status parameter
  passed in, syslog's it and then returns. It never bothers to send
  the I/O completion response back to the blktap kernel driver when
  a failure occurrs.

  Fortunately the fix for this is also simple. Instead of returning
  from the callback when dealing with an error, we simply toggle the
  status field for the pending response to BLKIF_RSP_ERROR and then
  continue with the normal codepath. So the error eventually gets
  back to the guest.

The scenario I used to discover the problem and test the patch is thus:

 - In dom0  create a filesystem with only 200 MB of free space
 - Create a 1 GB sparse file on this volume.
 - Configure the guest so this sparse file appears as /dev/xvdb
 - In the domU create a single partition on /dev/xvdb and format
  it with ext3.
 - In the DomU, mount /dev/xvdb1 on /mnt and then run

     dd if=/dev/zero of=/mnt/data.bin bs=1GB count=1

Without this patch, the 'dd' command would succeed in writing 1 GB of data
even though the underlying disk in Dom0 was only 200 MB in size. More complex
tests of copying a whole directory heirarchy across resulted in catastrophic
data corruption of the filessytem itself. Manual fsck was needed to fixup
the filesystem & there were many very bad errors needing fixing.

With this patch applied the DomU sees the I/O failures and kernel  logs
messages

Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 722127
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 730327
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 738527
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 746727
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 754927
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 763127
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 771327
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 779527
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 792399

It will retry the I/O operation until it runs out of sectors to try, and then
fail the operation. The filesystem is not seriously damaged - ext3 journal
recovery will trivially cleanup if the guest is rebooted after the disk in
Dom0 is enlarged.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>
[1] http://lwn.net/Articles/24366/

[XEND] Fix outputting device SXPs when domain is halted.

Signed-off-by: Alastair Tse <atse@xensource.com>

[HVM] Cache segment-register contents during PTE-update emulations.
Also clean up page-fault propagation to inject the correct error
code and CR2 value.
Signed-off-by: Keir Fraser <keir@xensource.com>

[TOOLS] Checks for libvncserver-dev and libsdl-dev.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix missing vncpasswd option for HVM domains.

Signed-off-by: Alastair Tse <atse@xensource.com>

Update hgignore list.

[XEN] Remove uses of 'extern inline'.

Original patch by Christoph Egger at AMD.

Signed-off-by: Keir Fraser <keir@xensource.com>

[LIBXC] Add new AP{I function xc_evtchn_bind_unbound_port().
Add a comment clarifying how this function differs from
xc_evtchn_alloc_unbound().
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Emulate XADD instruction.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEND] Reapply fix for ever expanding kernel_args in XendConfig

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Ensure config value types in XendConfig

Add definitions of what we expect the types to be for the values in
XendConfig and apply them when parsing SXP where all values are either
strings or list.

Also fix missing stdvga in HVM config.

Signed-off-by: Alastair Tse <atse@xensource.com>

[LINUX] dev/mem: Rename Xen's mmap_mem to xen_mmap_mem to
avoid conflict with the definition (which still exists and
is used) in drivers/char/mem.c.
Signed-off-by: Keir Fraser <keir@xensource.com>

Actually return something from bool0.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Update README to reflect moved library.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Merge.

[PVFB][TOOLS] Don't unwatch the framebuffer frontend's state node just
because it want to state Closed.  Otherwise, we don't notice when
the node gets deleted, and can't reliably shut the backend down.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

Set localtime, enable_audio, clock_offset, and std_vga back to being bools, not
ints.  This is a recent breakage.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added log message for when a VM is deleted.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Include the rotated xend.log.X in the bug report.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[PVFB][TOOLS] Fix save/restore for domains with PV framebuffers.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

Link test/test_bindings against libxenapi in the new location.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[TOOLS][PVFB] Avoid zombie framebuffer backends.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

[TOOLS] Remove some dead code.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

Merge.

[PVFB] Make sure that framebuffer backend goes away when the domain
terminates, and that it cleans up its area of xenstore.

Tidy up argument parsing a little while I'm here.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

[XEN] Quieten down HVM debug output.
Signed-off-by: Keir Fraser <keir@xensource.com>

[LINUX] The removal of the console_use_vt hack was premature: it's still
required if CONFIG_VT is enabled but the domain isn't currently
configured to use the PV framebuffer.  Put it back in, in a slightly
more palatable form.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

[PVFB][TOOLS] Change the configuration syntax for PVFB backends to more
closely match that of other devices.

This involves moving the logic for backend creation out of the image
handlers and in to the device handler, which is a much more sensible
place for it.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

Tidy up the creation of directories that Xend needs.  This avoids potential
races in this creation.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

merge

[XEND] More fixes for HVM device configuration parsing

Removed duplicated acpi option, added missing stdvga option. Do not
output empty configurations in image sxp. Remove bug with vcpus
passing in device model.

Signed-off-by: Alastair Tse <atse@xensource.com>

[HVM] Add canonical address checks and generally clean up.

Based on a patch from Jan Beulich <jbeulich@novell.com>

Signed-off-by: Keir Fraser <keir@xensource.com>

[XEND] Fix missing serial and localtime args in device model for HVM

Signed-off-by: Alastair Tse <atse@xensource.com>

[XENOPROF] Fix oprofile for AMD SVM guests.
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM][VMX] Rename io.c -> intr.c.
Signed-off-by: Keir Fraser <keir@xensource.com>

This is Anthony Liguori's virtual framebuffer forward ported and
extensively hacked based on feedback from xen-devel.

Its architecture is comparable to the common split device driver
architecture: xenfb and xenkbd modules serve as frontend in domU, and
the user space vncfb or sdlfb process serves as backend in dom0.

Signed-off-by: Markus Armbruster <armbru@redhat.com>
Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

[HVM][VMX] Fix for CR8 acceleration on 64bit guest.

For current CR8 acceleration, we do not call update_tpr_threshold() at
every VMEXIT. But at some situations, we cannot inject guest
interrupts in time. And at some critical time, it will bring up a blue
screen to 64bit Windows guest.

Now, we select to call update_tpr_threshold() at very VMEXIT
time. It's safe, and we do not see clear performance downgrade so
far.

Signed-off-by: Xiaohui Xin xiaohui.xin@intel.com

[XEN] Fix error paths in p2m insertion code
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

Fix default for the authentication on the Xen-API server -- the default should
be PAM, not none!

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix managed domain rebooting by only complaining about a VM name conflict if
the VM UUID conflicts as well.

Also, remove the previous_restart_time node when explicitly rebooting a guest --
the user ought to be able to drive reboots faster than the safety catch.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix registration on managed domains on xend restart.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[XEN] Only parse the crashkernel command line parameter once on boot
not each time it is requested.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

[XEN] Rename machine_shutdown to machine_reboot_kexec to better
reflect its purpose.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

[LINUX] Fix backward compatibility with hypervisors which do not support kexec.

Also do not rely on side effects in BUG_ON(x) -- use if(x) BUG() instead.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

Fix HVM shutdown when xend is restarted.

Added a recreate call to ImageHandler, allowing the subclasses of that to
hook into the code that runs when xend restarts.  This allows us in particular
to reregister the watches for HVM shutdown, and read the PID of qemu-dm from
the store.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix-up reference to name_label.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Reinstate the reboot-feature code that was accidentally lost as part of the
merge in changeset 12189.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[LINUX] Only initialise kexec in domain0.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

[QEMU] Do shift-key processing in QEMU monitor terminal when connected via VNC.
Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

[LIBXC] Fix Solaris build: Use XC_PAGE_SIZE not PAGE_SIZE.
Signed-off-by: John Levon <john.levon@sun.com>

[LINUX] Properly trigger XenbusStateClosed in blkfront

In some situations, like when error happens in block attach for
a guest in dom0, backend send us XenbusStateClosing notification.
However, as frontend were never properly initialized, it fails
to change its own state to XenbusStateClosed, leaving the system
in a dead-end state.

Signed-off-by: Glauber de Oliveira Costa <gcosta@redhat.com>

[QEMU] usb-uhci: Data buffer is too small

The data buffer is only 1280 bytes long but the user-supplied length
can be as large as 0x7ff.  This patch extends the buffer to 2048
bytes.

Signed-off-by: Herbert Xu <herbert@gondor.apana.org.au>

[QEMU] Simpler workaround for guest writes to PCI config
space that extend past byte 0xff.
Signed-off-by: Keir Fraser <keir@xensource.com>

[LINUX] Missing xenoprof.h header file for x86/64.
Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[XEN] Remove use of 'inline' on functions accessed via pointers.
Signed-off-by: Keir Fraser <keir@xensource.com>

linux/x86-64: missing agp.h

This causes data corruption and/or crashes when AGP is actually used.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

[MINIOS] Improved unbind_all_ports().
Signed-off-by: Jacob Gorm Hansen <jacobg@diku.dk>

[XEN] Arch-specific softirq definitions.
Signed-off-by: Alex Williamson <alex.williamson@hp.com>

[XEN] Proper segmentation emulation added to HVM emulated PTE writes.
Sigmed-off-by: Keir Fraser <keir@xensource.com>

merge

[XEN] Do not spin at the end of machine_crash_kexec(). If there was no crash
image then we should return to the caller who will either restart the machine
as normal or continue on as appropriate.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

[XEND] Fix HVM configuration parsing typo for certain cfg values.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Catch TypeErrors when unexpected SXP is encountered.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix Xen API attribute access to be robust to missing keys.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Checks to make sure the image type is valid in configuration

The 'builder' (eg. image type) should either be 'hvm' or 'linux' as
image.py only supports these at the moment.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XENAPI] Update debugging scripts to support vbd_list

Add function to list all vbds attached to a VM.
Update VM config builder to specify the default as 'linux'

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Rename Xen API methods to match case of the API documentation

Get rid of the case skewing in XendAPI.
Remove _to_xml methods because it has been removed from the latest API
docs.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix hidden vcpu state when calling xm-list

Stores the vcpus number in xenstore so it is preserved on xend
restart.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Remove SXP from most parts of Xend.

Attempt to get rid of most SXP dependency in Xend except in
configuration parsing and certain places where it is
required.

XendConfig now stores configuration options similar to Xen API VM
and devices attributes but exports an SXP version to certain things
like xm and XendCheckpoint. All access to VM and device attributes
should now use Python dictionaries rather than the SXP parser.

Signed-off-by: Alastair Tse <atse@xensource.com>

Update -xen0 defconfig for nhew kexec option

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

[XEN] Fix SIB byte decode when extended by REX.X and REX.B.
Signed-off-by: Keir Fraser <keir@xensource.com>

merge

[XEN] kexec: use parse_size_and_unit() when parsing crashkernel
command line parameter.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

[XEN] Fixup whitespace and tweak for Xen coding style.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

[LINUX] kexec: Backport fix for overlapping program headers in x86_64 linker script.

This allows a native kernel built from the xen tree to be used as a
crash kernel on x86_64.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

[XEN] Kexec / Kdump: x86_64 specific code

This patch contains the x86_64 implementation of Kexec / Kdump for Xen.

Signed-Off-By: Magnus Damm <magnus@valinux.co.jp>
Signed-Off-By: Simon Horman <horms@verge.net.au>

[XEN] Kexec / Kdump: x86_32 specific code

This patch contains the x86_32 implementation of Kexec / Kdump for Xen.

Signed-Off-By: Magnus Damm <magnus@valinux.co.jp>
Signed-Off-By: Simon Horman <horms@verge.net.au>

[XEN] Kexec / Kdump: Code shared between x86_32 and x86_64

This patch contains Kexec / Kdump code shared between x86_32 and x86_64.

Signed-Off-By: Magnus Damm <magnus@valinux.co.jp>
Signed-Off-By: Simon Horman <horms@verge.net.au>

[XEN] Kexec / Kdump: Generic code

This patch implements the generic portion of the Kexec / Kdump port to Xen.

Signed-Off-By: Magnus Damm <magnus@valinux.co.jp>
Signed-Off-By: Simon Horman <horms@verge.net.au>

[XEN] Simplify x86_emulate interface.

 - No distinction between 'special' and 'normal' memory accesses.
 - No reliance on caller-supplied %cr2 value
 - Memory operations include segment identifier to allow callers
   to support non-zero-based segments

TODO:
 1. HVM emulations should take into account segment base, limit, and
    attributes.
 2. We ought to obey stack-size attribute on PUSH/POP instructions.
    Could extend the mode input field, or could add an extra call-out
    hook, or perhaps we don't care at all...

Signed-off-by: Keir Fraser <keir@xensource.com>

Added the console class to the diagram.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

State that getters and setters do not have asynchronous versions -- there's no
point, because they ought to be immediate.

Tidy up the examples in the presentation and wire-protocol sections, and bring
them into sync with the main body text.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

New modelling for consoles -- have them as separate classes attached to the
VM, much like the arrangements for devices.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

merge

[HVMLOADER] Clean up makefile, change TPM detection.
Signed-off-by: Keir Fraser <keir@xensource.com>

[LINUX] Avoid triggering the softlockup BUG when offline for too long.

After being offline for a long time, the softlockup  watchdog triggers
a BUG() on our faces. This is expected, as in fact, we spent more than
a fixed 10*HZ amount of time without touching the watchdog.

However, by inspecting the contents of stolen inside timer irq handler,
we can gain awareness of the fact, and do better than that.

Signed-off-by: Glauber de Oliveira Costa <gcosta@redhat.com>

Fix xm new -F -- this fix was recently introduced for xm create.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Move the assert under the protection of the in_transaction flag.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Silence log message when trying to unregister a watch that's already been
unregistered -- this is not a problem.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[LINUX] console: Fix comment.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XENOPROFILE, LINUX] compilation fix on x86_64
Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[HVMLOADER] Fix CFLAGS.
Signed-off-by: Keir Fraser <keir@xensource.com>

[LINUX] console: Add option to use /dev/xvc0, major=204, minor=191.

The major/minor has now been allocated to us by lanana.org.

This is based on previous patches from:
 Jeremy Katz <katzj@redhat.com>
 Amos Waterland <apw@us.ibm.com>

Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM][VMX] NX bit implies PAE can be enabled. If IA32 VMX guest finds
NX bit is there, it may enable PAE even if PAE bit is returned 0 by
CPUID.

Signed-off-by: Xiaowei Yang <xiaowei.yang@intel.com>